Ông sinh trưởng trong một gia đình quan lại tại huyện Hương Trà, tỉnh Thừa Thiên. Ông xa là Cai bạ Đằng Long hầu Phạm Hữu Huệ, ông nội là Ký lục doanh Bình Thuận Phạm Hữu Ứng, và cha là Huấn đạo Phạm Hữu Hòa.

Khi còn nhỏ, Phạm Hữu Tâm được học văn và võ. Năm Đinh Tỵ (1797), ông đến đầu quân chúa Nguyễn Phúc Ánh, và lập được công.

Năm 1802, sau khi tiêu diệt nhà Tây Sơn, chúa Nguyễn Phúc Ánh lên ngôi vua lấy hiệu là Gia Long, Phạm Hữu Tâm được làm Khâm sai cai cơ ở Tả thắng. Nhưng sau vì phạm lỗi ông bị cách chức [1].

Năm 1820, Minh Mạng nối ngôi, thì năm sau (1821), ông được phục chức.

Năm 1822, Phạm Hữu Tâm hộ tống lương thực đến quân trường ở Văn Bàn và Thủy Vỹ (nay thuộc tỉnh Lào Cai). Dọc đường gặp "giặc Man" (gọi theo sử nhà Nguyễn), ông đẩy lui được. Vua nghe, thưởng cho ông làm Cai đội, rồi lần lượt trải các chức: Phó quản cơ cơ Hiệu Thuận, Vệ úy, Trấn thủ Biên Hòa, Vệ úy ban Tả trực doanh Thần sách lĩnh việc đi đánh dẹp cuộc nổi dậy Lê Văn Khôi.

Đến Gia Định, ông theo Lê Tiến Bảo, Lê Đại Cương hiệp sức đánh. Lập được công, ông lần lượt được thăng: Chưởng cơ, Thống chế, rồi sung chức Tham tán đại thần ở quân thứ Gia Định.

Từ cuối năm 1833 đến đầu năm 1834, nhân lời cầu viện của Lê Văn Khôi, đông đảo quân Xiêm La tràn xuống đánh phá nước Việt. Phạm Hữu Tâm nhận lịnh họp binh cùng Trương Minh Giảng, Trần Văn Năng, Nguyễn Xuân, Nguyễn Đình Tân..., đánh thắng quân Xiêm tại Thuận Cảng (sông Vàm Nao) và Cù Hu [2]. Sau khi đẩy lui được quân Xiêm và cứu nguy luôn cho Cao Miên, tháng 10 (âm lịch) năm 1834, Phạm Hữu Tâm được phong tước Tân Phúc tử[3].

Năm 1835, nhà vua thăng ông làm thự Thảo nghịch tướng quân để hiệp cùng Tả tướng quân Nguyễn Xuân đốc quân các đạo tấn công quyết liệt thành Phiên An, đến tháng 7 cùng năm thì thành bị hạ. Theo Đại Nam nhất thống chí, thì nhờ có ông "bày mưu đào đường ngầm (xà đạo) mà đánh hạ được thành Phan An. Khi khải hoàn (được) làm lễ bão tất (ôm gối vua)"[4].

Cuối năm đó, ông được tấn phong tước bá, hàm Thái tử Thiếu bảo. Năm sau, ông lại thăng thự Tiền quân Đô thống kiêm giữ Tào chính, rồi Tiền quân Đô thống phủ Đô thống, tấn phong tước Tân Phước hầu, được khắc tên trên bia Võ công dựng trước Võ miếu Huế.

Năm 1839, ông lĩnh chức Tổng đốc An Tĩnh (Nghệ An-Hà Tĩnh), rồi Hà Ninh (Hà Nội-Ninh Bình).

Năm 1841, Thiệu Trị nối ngôi, gia phong cho ông hàm Thái tử Thái bảo. Năm sau (1842), Phạm Hữu Tâm khi ấy đang ở Hà Nội, thì lâm bệnh. Tới lúc bệnh nặng, ông mới xin phép về làng, nhưng đi đến Nghệ An thì mất.

Thương tiếc, vua Thiệu Trị cho truy tặng ông tước Tân Phúc quận công, ban tên thụy Trung Túc, thưởng thêm gấm nhiễu, chuẩn cho ngựa trạm đưa linh cữu về quê. Ngày an táng, nhà vua cấp thêm 3.000 quan tiền và sai quan đến tế hai lần.